Few-shot relation extraction (FSRE) aims at recognizing unseen relations by learning with merely a handful of annotated instances. To generalize to new relations more effectively, this paper proposes a novel pipeline for the FSRE task based on queRy-information guided Attention and adaptive Prototype fuSion, namely RAPS. Specifically, RAPS first derives the relation prototype by the query-information guided attention module, which exploits rich interactive information between the support instances and the query instances, in order to obtain more accurate initial prototype representations. Then RAPS elaborately combines the derived initial prototype with the relation information by the adaptive prototype fusion mechanism to get the integrated prototype for both train and prediction. Experiments on the benchmark dataset FewRel 1.0 show a significant improvement of our method against state-of-the-art methods.
translated by 谷歌翻译
已经开发了几种深度学习算法,以使用整个幻灯片图像(WSIS)预测癌症患者的存活。但是,WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的,以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习(MIL)算法使用顶级实例(例如Maxpooling)或顶级/底部实例(例如,Mesonet)来识别图像表型。在这项研究中,我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法(DeepDismisl)来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明,有关WSI贴片分数的分布的信息越多,预测性能越好。包括每个选定分配位置(例如百分位数)周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比,DeepDismisl具有优越的预测能力。此外,我们的算法是可以解释的,可以帮助理解癌症形态表型与癌症生存风险之间的关系。
translated by 谷歌翻译
由于缺乏注释的病理图像,转移学习是数字病理领域的主要方法。基于Imagenet数据库的Pre培训的神经网络通常用于提取“从架子”特征中,以预测组织类型实现巨大成功,分子特征和临床结果等。我们假设使用组织病理学图像进行微调的模型可以进一步改善特征提取,下游预测性能。我们使用了100,000个注释的他的结肠直肠癌(CRC)的图像斑块到FINetune通过TwoStep方法预先训练的Xcepion模型。通过:(1)来自CRC的图像的图像分类,从CRC的图像进行了比较了从FineTuned Xception(FTX2048)模型和图像预测(IMGNET2048)模型的特征; (2)预测免疫基因表达和(3)肺腺癌(Luad)基因突变.FiveFold交叉验证用于模型性能评估。来自FFTuned FTX2048的提取特征在于与基于Imagenet数据库的Xcepion直接从架子特征预测CRC的螺栓类型的螺栓类型的精度显着更高。特别是,FTX2048显着提高了87%至94%的基质的精度。类似地,来自FTX2048的特征促进了免疫烯丙基蛋白拉德转录组表达的预测。对于具有与图像诱导的脑状有关系的基因,特征FGROM FERUNED模型的预测是对大多数基因的预测。从FTX2048中携带灌注,改善了拉德中9个最常见的突变基因中的5个突变的预测。
translated by 谷歌翻译
Federated Learning (FL) is pervasive in privacy-focused IoT environments since it enables avoiding privacy leakage by training models with gradients instead of data. Recent works show the uploaded gradients can be employed to reconstruct data, i.e., gradient leakage attacks, and several defenses are designed to alleviate the risk by tweaking the gradients. However, these defenses exhibit weak resilience against threatening attacks, as the effectiveness builds upon the unrealistic assumptions that deep neural networks are simplified as linear models. In this paper, without such unrealistic assumptions, we present a novel defense, called Refiner, instead of perturbing gradients, which refines ground-truth data to craft robust data that yields sufficient utility but with the least amount of privacy information, and then the gradients of robust data are uploaded. To craft robust data, Refiner promotes the gradients of critical parameters associated with robust data to close ground-truth ones while leaving the gradients of trivial parameters to safeguard privacy. Moreover, to exploit the gradients of trivial parameters, Refiner utilizes a well-designed evaluation network to steer robust data far away from ground-truth data, thereby alleviating privacy leakage risk. Extensive experiments across multiple benchmark datasets demonstrate the superior defense effectiveness of Refiner at defending against state-of-the-art threats.
translated by 谷歌翻译
Recent methods for deep metric learning have been focusing on designing different contrastive loss functions between positive and negative pairs of samples so that the learned feature embedding is able to pull positive samples of the same class closer and push negative samples from different classes away from each other. In this work, we recognize that there is a significant semantic gap between features at the intermediate feature layer and class labels at the final output layer. To bridge this gap, we develop a contrastive Bayesian analysis to characterize and model the posterior probabilities of image labels conditioned by their features similarity in a contrastive learning setting. This contrastive Bayesian analysis leads to a new loss function for deep metric learning. To improve the generalization capability of the proposed method onto new classes, we further extend the contrastive Bayesian loss with a metric variance constraint. Our experimental results and ablation studies demonstrate that the proposed contrastive Bayesian metric learning method significantly improves the performance of deep metric learning in both supervised and pseudo-supervised scenarios, outperforming existing methods by a large margin.
translated by 谷歌翻译
值得信赖的强化学习算法应有能力解决挑战性的现实问题,包括{Robustly}处理不确定性,满足{安全}的限制以避免灾难性的失败,以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点,即考虑其在鲁棒性,安全性和概括性上的内在脆弱性。特别是,我们给出严格的表述,对相应的方法进行分类,并讨论每个观点的基准。此外,我们提供了一个前景部分,以刺激有希望的未来方向,并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起,并促进强化学习的可信度。
translated by 谷歌翻译
知识图(kg)嵌入是一种主流方法,用于推理不完整的kg。但是,受其固有浅层和静态体系结构的限制,它们几乎无法处理对复杂逻辑查询的不断上升,这些查询包括逻辑运算符,估算的边缘,多个源实体和未知的中间实体。在这项工作中,我们通过掩盖的预训练和微调策略介绍了知识图变压器(kgtransformer)。我们设计了一种kg三重变换方法,以使变压器能够处理kg,这是通过稀疏(MOE)稀疏激活的混合物进一步增强的。然后,我们将复杂的逻辑查询作为掩盖预测提出,并引入了两阶段掩盖的预训练策略,以提高可转移性和概括性。在两个基准上进行的广泛实验表明,KGTRANSFORMER可以始终超过基于KG的基准和九个内域和室外推理任务的高级编码。此外,KGTRANSFORMER可以通过提供解释给定答案的完整推理路径来解释性。
translated by 谷歌翻译
在不同模型中,对抗性示例(AES)的可传递性对于黑盒对抗攻击至关重要,在黑框对抗攻击中,攻击者无法访问有关黑盒模型的信息。但是,制作的AE总是表现出差的可转移性。在本文中,通过将AES作为模型的概括能力的可传递性,我们揭示了Vanilla Black-Box攻击通过解决最大似然估计(MLE)问题来制作AES。对于MLE,结果可能是特定于模型的本地最佳最佳,当可用数据较小时,即限制了AE的可传递性。相比之下,我们将可转移的AES重新构建为最大化后验概率估计问题,这是一种有效的方法,可以提高结果有限的结果的概括。由于贝叶斯后推断通常很棘手,因此开发了一种简单而有效的方法称为MaskBlock以近似估计。此外,我们表明该配方框架是各种攻击方法的概括版本。广泛的实验说明了面具可以显着提高制作的对抗性例子的可转移性,最多可以提高20%。
translated by 谷歌翻译
神经网络的不透明度导致其脆弱性发生后门攻击,其中触发了感染神经元的隐藏注意力,以覆盖对攻击者选择的神经元的正常预测。在本文中,我们提出了一种新型的后门防御方法,以标记和净化后门神经网络中受感染的神经元。具体来说,我们首先定义了一个名为良性显着性的新指标。通过将一阶梯度组合以保持神经元之间的连接,良性显着性可以鉴定出比后门防御中常用度量的高精度的感染神经元。然后,提出了一种新的自适应正则化(AR)机制,以通过微调来帮助净化这些被鉴定的感染神经元。由于能够适应不同参数幅度的能力,与神经元纯化中的共同正则化机制相比,AR可以提供更快,更稳定的收敛性。广泛的实验结果表明,我们的方法可以消除具有可忽略的性能降解的神经网络中的后门。
translated by 谷歌翻译
因果推论在电子商务和精确医学等各个领域都有广泛的应用,其性能在很大程度上取决于对个体治疗效果(ITE)的准确估计。通常,通过在其各个样品空间中分别对处理和控制响应函数进行建模来预测ITE。但是,这种方法通常会在实践中遇到两个问题,即治疗偏见引起的治疗组和对照组之间的分布分布以及其人口规模的显着样本失衡。本文提出了深层的整个空间跨网络(DESCN),以从端到端的角度进行建模治疗效果。 DESCN通过多任务学习方式捕获了治疗倾向,反应和隐藏治疗效果的综合信息。我们的方法共同学习了整个样品空间中的治疗和反应功能,以避免治疗偏见,并采用中间伪治疗效应预测网络来减轻样品失衡。从电子商务凭证分销业务的合成数据集和大规模生产数据集进行了广泛的实验。结果表明,DESCN可以成功提高ITE估计的准确性并提高提升排名的性能。发布生产数据集和源代码的样本是为了促进社区的未来研究,据我们所知,这是首个大型公共偏见的因果推理数据集。
translated by 谷歌翻译